Post-Calibration Reliability Reranking of Relevance Decisions via Label-wise Monotone Projection
校准后标签条件单调投影的可靠性重排序
🧭 后校准可靠性重排 · 标签条件单调投影 ★ 深度解读
UNIST · LinqAlpha
用标签条件单调函数将校准置信度映射为正确性可靠性,不改原始预测,改善搜索/推荐系统的 fallback 路由和选择性预测
📌 工作参考价值(4 点)
- 搜索/电商相关性预测的 fallback 路由:校准后的置信度仍然隐藏标签条件的可靠性差异,可用标签独立单调函数重排预测风险,在预算有限时提高自动采纳的准确率。
- 不改模型只改下游使用方式:MRP 不修改原始预测和类概率,仅附加一个可靠性分数,适合已有校准管线的在线系统无侵入式升级。
- 单调点阵实现:采用 logit 域单调增量参数化,保证置信度越高可靠性越高的直觉,工程上简单、可解释、训练稳定。
- 消融实验结论:增益主要来自标签条件残差信号,而非全局置信度再映射,意味着可以在每个决策标签上单独建模可靠性曲线,而不是重新校准置信度。